Estándar de exclusión de robots
ESTÁNDAR UTILIZADO PARA INDICARLE AL RASTREADOR WEB QUE NO INDEXE UNA URL
Robots.txt; Estandar de exclusion de robots; Robots txt; Estandar de exclusión de robots; Estándar de exclusion de robots; Robot.txt
El estándar de exclusión de robots, también conocido como el protocolo de la exclusión de robots o protocolo de robots.txt, es un método para evitar que ciertos bots que analizan los sitios web u otros robots que investigan todo o una parte del acceso de un sitio Web, público o privado, agreguen información innecesaria a los resultados de búsqueda.